Foster valittiin Yhdysvaltain edustajainhuoneeseen vuonna 1870, jossa hän istui maaliskuusta 1871 vuoteen 1879. Foster pyrki vielä vuoden 1878 vaaleissa jatkokaudelle, muttei tullut enää valituksi. Ohion kuvernöörinä hän toimi vuosina 1880–1884. Hän oli uudelleen ehdolla edustajainhuoneeseen vuonna 1890, mutta ei tullut valituksi. Vuotta myöhemmin presidentti Benjamin Harrison nimitti hänet valtiovarainministerikseen. Foster hoiti valtiovarainministerin tehtävää helmikuusta 1891 maaliskuuhun 1893, jonka jälkeen hän vetäytyi politiikasta.[1]
